Openstack+ceph安装 |
您所在的位置：网站首页 › openstack ceph部署手册 › Openstack+ceph安装 |
Openstack+ceph安装
|
CEPH分部署系统
数据是分布到各个节点上去，不在是存储在一个节点 目前主流的方案是Openstack+Ceph的方案 主要作用主要功能是对象存储、块存储、文件系统 Ceph----Cinder ●块存储 为云主机提供数据盘 Ceph----Swift ●对象存储 是一个网络盘用来存储数据 Ceph----Glance ●存储镜像 Ceph----Nova ●存储云机主机 Ceph----文件系统 是将Ceph的存储划分给其他的服务使用，类似NFS、samba Ceph集群特点Ceph是一个分布式集群系统，至少需要一个monitor和2个OSD守护进程 运行Ceph文件系统客户端还需要MS（Metadata server） 什么是OSDOSD是存储数据、处理数据的复制、回复、回填在均衡、并且通过其他检查其他的OSD的守护进程的心跳，向monitor提供一些监控信息 什么是Monitor监视整个集群状态信息，当Ceph的集群为2个副本，至少需要2个OSD才能达到健康状态，同时还守护各种图表（OSD图、PG组、Crush图等等） 什么是Ceph-mgrCeph Manager Daemon,简称Ceph-mgr，该组件的主要作用是分担和扩展monitor的部分功能，减轻monitor的负担，更好的管理Ceph存储系统 ① CEPH基础环境 Openstack安装（不会点我👇）1、控制节点（计算+网络） CPU：双核双线程-CPU虚拟化开启 内存：8G 硬盘：300G+1024G（充当CEPH块存储） 网卡：VM1-192.168.100.10 NAT-20.0.0.10 操作系统：Centos 7.5（1804）-最小化安装 2、计算节点1（计算） CPU：双核双线程-CPU虚拟化开启 内存：8G 硬盘：300G+1024G（充当CEPH块存储） 网卡：VM1-192.168.100.11 操作系统：Centos 7.5（1804）-最小化安装 3、计算节点2（计算） CPU：双核双线程-CPU虚拟化开启 内存：8G 硬盘：300G+1024G（充当CEPH块存储） 网卡：VM1-192.168.100.12 操作系统：Centos 7.5（1804）-最小化安装 部署CEPH之前，必须把和存储有关系数据清理干净 1、OpenStack安装了实例，必须删除----在控制台dashboard删除 2、OPenStack上产的镜像，必须删除----在控制台dashboard删除 3、OpenStack的cinder块，必须删除----在控制台dashboard删除 三个节点iptables 防火墙关闭 systemctl stop iptables systemctl disable iptables 节点必须做免交互 主机名、hosts、关闭防火墙、hostname ② CEPH集群搭建 1、三个节点、关闭防火墙 systemctl stop iptables systemctl disable iptables systemctl status iptables 2、三个节点安装Python-setuptools工具 yum -y install python-setuptools 3、在控制节点，创建ceph配置文件目录 mkdir -p /etc/ceph 4、在控制节点安装ceph-deploy yum -y install ceph-deploy 5、在三个节点安装ceph软件 yum -y install ceph 6、创建三个mon 进入控制节点/etc/ceph的目录 cd /etc/ceph ceph-deploy new ct c1 c2 more /etc/ceph/ceph.conf 7、初始化mon 并收集秘钥(三个节点) 进入控制节点/etc/ceph的目录 cd /etc/ceph [root@ct ceph]# ceph-deploy mon create-initial [root@ct ceph]# ll total 160 -rw-------. 1 root root 113 Mar 11 06:00 ceph.bootstrap-mds.keyring -rw-------. 1 root root 113 Mar 11 06:00 ceph.bootstrap-mgr.keyring -rw-------. 1 root root 113 Mar 11 06:00 ceph.bootstrap-osd.keyring -rw-------. 1 root root 113 Mar 11 06:00 ceph.bootstrap-rgw.keyring -rw-------. 1 root root 151 Mar 11 06:00 ceph.client.admin.keyring -rw-r--r--. 1 root root 231 Mar 11 05:59 ceph.conf -rw-r--r--. 1 root root 81561 Mar 11 06:00 ceph-deploy-ceph.log -rw-------. 1 root root 73 Mar 11 05:34 ceph.mon.keyring -rw-r--r--. 1 root root 92 Jun 3 2019 rbdmap 8、创建OSD 进入控制节点/etc/ceph的目录 cd /etc/ceph ceph-deploy osd create --data /dev/sdb ct ceph-deploy osd create --data /dev/sdb c1 ceph-deploy osd create --data /dev/sdb c2 9、使用ceph-deploy下发配置文件和admin秘钥下发到ct c1 c2 进入控制节点/etc/ceph的目录 cd /etc/ceph ceph-deploy admin ct c1 c2 10、给ct、c1、c2 每个节点的keyring增加读的权限 [root@ct ceph# chmod +x /etc/ceph/ceph.client.admin.keyring [root@c1 ceph# chmod +x /etc/ceph/ceph.client.admin.keyring [root@c2 ceph# chmod +x /etc/ceph/ceph.client.admin.keyring11、查看ceph集群状态 ceph -s ceph osd tree 12、创建mgr管理服务ll 进入控制节点/etc/ceph的目录 cd /etc/ceph ceph-deploy mgr create ct c1 c2 ceph -s
6、设置账号密码 ceph dashboard set-login-credentials admin 123 ###admin是账号 123是密码这个可以改 1、控制节点创建client.cinder并设置权限 ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children,allow rwx pool=volumes,allow rwx pool=vms,allow rx pool=images' 2、控制节点创建client.glance并设置权限 ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children,allow rwx pool=images' 3、传送秘钥到对接的节点，因为glance自身就装在控制节点所以不需要发送到其他的节点 ceph auth get-or-create client.glance |tee /etc/ceph/ceph.client.glance.keyring chown glance.glance /etc/ceph/ceph.client.glance.keyring 4、将client.cinder节点 因为这个默认也是安装在controller上 ，所以不需要传递到其他节点,如果在其他节点就执行第一条语句## ceph auth get-or-create client.cinder | tee /etc/ceph/ceph.client.cinder.keyring chown cinder.cinder /etc/ceph/ceph.client.cinder.keyring 5、同时也需要将client.cinder 传递到计算节点 由于计算节点需要将用户的client.cinder用户的密钥文件存储在libvirt中，所以需要执行如下操作 ceph auth get-key client.cinder |ssh c1 tee client.cinder.key ceph auth get-key client.cinder |ssh c2 tee client.cinder.key6、在运行nova-compute的计算节点讲临时密钥文件添加到libvirt 中然后删除 ############################### 配置libvirt secret KVM虚拟机需要使用librbd才可以访问ceph集群 Librbd访问ceph又需要账户认证 因此在这里，需要给libvirt设置账户信息 ##########在C1，C2节点上操作的############### ⑴生成UUID uuidgen 9776c7a2-5a4d-4b65-b7ed-2cbf96bb8ebd ⑵用如下内容创建一个秘钥文件确保使用上一步骤中生成唯一的UUID cd /root cat >secret.xml |
【本文地址】
今日新闻 |
推荐新闻 |